Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents
驾驭记忆：记忆智能体中记忆基质的整体评估
🧭 Agent 记忆基质评测与自适应路由
University of Illinois Chicago · University of Washington · McGill University · MBZUAI · University of California, Los Angeles
统一评测多种记忆基质，发现无单一最优，需按任务类型与历史长度做自适应路由
📌 工作参考价值（4 点）
- 记忆基质选型不是检索越强越好：在事实性 QA（如客服问答、商品知识库）中，dense/sparse 广泛检索有增益；但在多步决策（如导购 Agent、谈判流程）中，过度检索会挤占动作关键上下文，建议控制检索数量或设置相关性阈值。
- 长历史下中等长度表现好的基质可能成本激增或变脆：用户长期偏好存储不宜直接套用现有结构，需设计分层、压缩、refinement 机制，或按会话长度、任务类型动态路由到不同存储介质。
- 评测要同时看效率与任务指标：在自己的 Agent 评测 harness 中加入 memory 读写的 token 成本、延迟、检索命中率等，避免只优化下游准确率而忽略工程可行性。
- 把 memory substrate 抽象为可替换组件并统一接口，方便在推荐对话、个性化搜索等场景中快速对比 dense/sparse/structural/parametric 等不同存储方案。